其他
祝贺!国内首个大规模金融云数仓全面上线
招商银行数据仓库平台主要应用于批量数据加工处理、数据实验室探索及交互式自助分析等场景。随着招商银行数字化转型的快速推进,数据采集处理规模大幅增长,逐步呈现“人人用数,人人都是数据分析师”的数据应用模式,对数据平台容量、算力、稳定性及可用性等提出更高要求。
招商银行数据仓库的数据量规模达到PB级别,单一平台进行如此巨大规模的数据和程序迁移,在金融行业非常少见。项目组充分论证迁移方案,制定了基础数据模型先迁,分批次迁移应用集市的总体策略,最终圆满完成云数仓迁移工作。
迁移完成后,招商银行业务用户享受到了更轻盈的用数体验:
查询速度快人一步批量数据处理完成进度整体提前2小时以上,业务用户查询时长缩短75%,数据仓库服务效能显著提升。
用数不间断,人人都是VIP集群扩容停机时长由12-24小时降至2-4小时,停机追批时长由1-2天降至业务零感知,平台运维能力大幅提升,用户随时取数用数,不再受维护和跑批的影响。
数据丝滑迁移,替换无感在新旧数仓替换过程中的并行期,实现1分钟内完成重要数据在新旧平台中的数据核对,让用户对替换过程无感知。
强大的平台性能是数字化转型不断深入的底气。为此,突破封闭技术路线,引入灵活扩展架构,是新一代数据仓库提升平台性能的必然选择。
依托云原生特性,扩展灵活从容从技术选型出发,华为云GaussDB(DWS)打破原有一体机架构封闭的技术路线,基于华为云Stack底座构建开放型技术架构,支持资源弹性管理和按需扩展。
在线扩容的重分布速度由20TB/h提速至65TB/小时,在线备份速度由37TB/h提速至150TB/小时,缩短平台操作时间窗口,业务快速享用平台扩展后的更高算力。
分布式优化技术,增强系统性能充分利用多核计算资源,采用多层级、全并行的分布式架构,运用查询重写、计划生成、倾斜处理等多项核心技术,全面提升集群处理性能,实现高并发交互式查询秒级响应,并支撑业务上千并发联机查询。
分析与计算集群分离,降低负载冲突根据业务发展需要,项目组将原计算集群拓展为零售集群和批发中后台集群,并为业务用数建设专属分析集群,在扩展算力的同时实现业务分析与计算分离。
华为云GaussDB(DWS)为分析师提供7×24小时随需随用的数据服务,无需等待批量处理负载降低,延长数据服务时长。